个体治疗效果（ITE）预测是机器学习的重要研究领域，其目的在解释和估算粒状水平时的作用的因果影响。它代表了对诸如医疗保健，在线广告或社会经济学的多个申请兴趣的问题。为了促进本主题的研究，我们释放了从几个随机控制试验中收集的1390万个样本的公开收集，通过健康的210倍因素扩展先前可用的数据集。我们提供有关数据收集的详细信息，并执行Sanity检查以验证使用此数据是否有因果推理任务。首先，我们正规化可以使用此数据执行的隆起建模（UM）的任务以及相关的评估指标。然后，我们提出了为ITE预测提供了一般设置的合成响应表面和异质处理分配。最后，我们报告实验以验证利用其大小的数据集的关键特性，以评估和比较 - 具有高统计显着性 - 基线UM和ITE预测方法的选择。
translated by 谷歌翻译
有效的决策涉及将过去的经验和相关上下文信息与新型情况联系起来。在深入的强化学习中，主导范式是代理商摊销信息，通过训练损失的梯度下降来帮助决策进入其网络权重。在这里，我们采用了一种替代方法，其中代理可以利用大规模上下文敏感的数据库查找来支持其参数计算。这使代理商可以直接以端到端的方式学习，以利用相关信息来告知其输出。此外，代理可以通过简单地扩大检索数据集来了解新信息，而无需再进行重新培训。我们在GO中研究这种方法，这是一款具有挑战性的游戏，庞大的组合状态空间特权对与过去的体验进行了直接匹配。我们利用快速，大约最近的邻居技术来从数千万的专家示范状态中检索相关数据。参与此信息为简单地将这些示范作为训练轨迹而言，可以显着提高预测准确性和游戏性能，从而使大规模检索在加强学习剂中的价值提供了令人信服的演示。
translated by 谷歌翻译
基于模型的强化学习的关键承诺之一是使用世界内部模型拓展到新颖的环境和任务中的预测。然而，模型的代理商的泛化能力尚不清楚，因为现有的工作在基准测试概括时专注于无模型剂。在这里，我们明确测量模型的代理的泛化能力与其无模型对应物相比。我们专注于Muzero（Schrittwieser等，2020），强大的基于模型的代理商的分析，并评估其在过程和任务泛化方面的性能。我们确定了一个程序概括规划，自我监督代表学习和程序数据分集的三个因素 - 并表明通过组合这些技术，我们实现了普通的最先进的概括性和数据效率（Cobbe等人。，2019）。但是，我们发现这些因素并不总是为Meta-World中的任务泛化基准提供相同的益处（Yu等人，2019），表明转移仍然是一个挑战，可能需要不同的方法而不是程序泛化。总的来说，我们建议建立一个推广的代理需要超越单任务，无模型范例，并朝着在丰富，程序，多任务环境中培训的基于自我监督的模型的代理。
translated by 谷歌翻译
强化学习中的信用作业是衡量行动对未来奖励的影响的问题。特别是，这需要从运气中分离技能，即解除外部因素和随后的行动对奖励行动的影响。为实现这一目标，我们将来自因果关系的反事件的概念调整为无模型RL设置。关键思想是通过学习从轨迹中提取相关信息来应对未来事件的价值函数。我们制定了一系列政策梯度算法，这些算法使用这些未来条件的价值函数作为基准或批评，并表明它们是可怕的差异。为避免对未来信息的调理潜在偏见，我们将后视信息限制为不包含有关代理程序行为的信息。我们展示了我们对许多说明性和具有挑战性问题的算法的功效和有效性。
translated by 谷歌翻译